Скорость мысли. Грандиозное путешествие сквозь мозг за 2,1 секунды - Марк Хамфрис

131

[18] В рассказе о том, как синаптические сбои создают фильтр для колебаний частоты импульсов, я объединил идеи из двух статей. Во-первых, из классической статьи о том, как краткосрочная депрессия позволяет синапсам автоматически контролировать усиление своих синапсов, что подразумевает, что они фильтруют высокочастотные входные сигналы, см.: Abbott L. F., Varela, Sen K. и др. Synaptic depression and cortical gain control // Science. 1997. № 275. С. 220–224. И подробное описание действия этого фильтра см.: Rosenbaum R., Rubin J., Doiron B. Short term synaptic depression imposes a frequency dependent filter on synaptic information transfer // PLoS Computational Biology. 2012. № 8. e1002557.

132

[19] Humphries M. D. The unreasonable effectiveness of deep brain stimulation // The Spike. 2017. 30 января. URL: https://medium.com/the-spike/the-unreasonable-effectiveness-of-deep-brain-stimulation-7d84a9849140.

133

[20] Rosenbaum R., Zimnik A., Zheng F. и др. Axonal and synaptic failure suppress the transfer of firing rate oscillations, synchrony and information during high frequency deep brain stimulation // Neurobiology of Disease. 2014. № 62. С. 86–99.

134

[21] Evans D. A., Stempel V., Vale R. и др. A synaptic threshold mechanism for computing escape decisions // Nature. 2018. № 558. С. 590–594.

135

[22] Интересным побочным условием в этих исследованиях было то, что убегающие мыши могли вернуться в убежище, где были только однажды. Так что это, казалось бы, инстинктивное поведение «Беги!» на самом деле использует довольно продвинутое обучение и планирование. См. Vale R., Evans D. A., Branco T. Rapid spatial learning controls instinctive defensive behavior in mice // Current Biology. 2017. № 27. С. 1342–1349.

136

[23] Причина склонности нейронных сетей к переобучению – в том же самом механизме, что и для регрессии, статистической зависимости одного набора данных от другого, когда вы используете порядок уравнения, превышающий количество исходных данных: слишком много свободных параметров. В регрессии вы берете два набора данных, скажем доход семьи и рейтинг IMDb для «Игры престолов», и строите кривую их зависимости. Эта кривая показывает взаимосвязь между доходом и рейтингом. Чем выше порядок кривой, тем лучше она приблизится к существующим точкам данных, но, скорее всего, тем хуже сможет предсказать любые новые поступающие данные. И нейронные сети делают то же самое: они подгоняют коэффициенты своих очень сложных функций к сигналам на входах, чтобы получить ожидаемый от них на выходе ответ.

137

[24] Впервые о DropConnect было упомянуто в документе конференции (Вань и др.). Когда я говорю «широко используется», я имею в виду, что на момент написания этой статьи, т. е. за шесть лет (на 20 мая 2019 г.; источник: Google Scholar) эта работа была процитирована 1274 раза. Wan L., Zeiler M., Zhang S. и др. Regularization of neural networks using DropConnect // Proceedings of the 30th International Conference on Machine Learning (ICML13). 2013. С. 1058–1066. Я также должен отметить, что DropConnect основывается на идее DropOut, которая состоит в удалении случайным образом из сети самих ячеек. Подробная статья о DropOut вышла в 2014 году: Srivastava N., Hinton G., Krizhevsky A. DropOut: A simple way to prevent neural networks from overfitting // Journal of Machine Learning Research. 2014. № 15. С. 1929–1958.

138

[25] Некоторые алгоритмы поиска будут генерировать множество случайных первичных решений и параллельно их уточнять и/или рекомбинировать (как в эволюционных алгоритмах, например генетических).

139

[26] Почему мы должны предполагать, что мозг использует те алгоритмы поиска, которым помогает шум? Потому что нейронные сети, реализующие алгоритмы поиска, также используют шум. Самым известным примером является «машина Больцмана» (Экли, Хинтон и Сейновски). Еще в 1989 году Бернод и Корн предположили, что синаптические сбои могут быть примерно тем же, чем является «тепловой шум» в машине Больцмана. Их предположение основывалось на том, что вероятность синаптического сбоя быстро меняется с течением времени, чтобы изменить реакцию нейрона на свои входные данные (высокий уровень сбоев означает, что ему требуется много входных данных). Это кажется маловероятным в синапсах мозга млекопитающих, но это была первая явная связь между неудачей и поиском. Ackley D. H., Hinton G. E., Sejnowski T. J. A learning algorithm for Boltzmann machines // Cognitive Science. 1985. № 9. С. 147–169; Burnod Y., Korn H. Consequences of stochastic release of neurotransmitters for network computation in the central nervous system // Proceedings of the National Academy of Sciences USA. 1989. № 86. С. 352–356.

140

[1] Возможно, вы скажете: а как же синаптические сбои? Разве они не уменьшат общее количество импульсов, поступающих на нейрон? Уменьшат. Но даже если бы все синапсы одного нейрона отказывали в 50 % случаев, это все равно означало бы 25 000 входящих импульсов в секунду и 250 исходящих импульсов в секунду. А мы можем отправить не больше пяти. Чтобы получить из 50 000 входящих импульсов в секунду пять исходящих, потребуется 99 %-я частота отказов в каждом синапсе.

141

[2] В первом приближении каждый импульс, посланный нейроном, действительно увеличивает количество свободного кальция в его теле. А химическое вещество, которое мы используем – флуоресцентный индикатор, – связывает кальций. Чем больше он связывает, тем сильнее флуоресцирует, и поэтому яркость флуоресценции в теле нейрона пропорциональна количеству отправленных им импульсов. Приблизительно. На самом деле все гораздо сложнее. Во-первых, взаимосвязь между импульсами и кальцием нелинейна; при каждом последующем импульсе увеличение количества свободного кальция не будет одинаковым. Во-вторых, изменения концентрации кальция происходят медленно, намного медленнее, чем отправка импульса. Поэтому, если за короткое время нейрон отправляет несколько импульсов, флуоресценция дает очень смазанную картину.

142

[3] Kerr J. N. D., Greenberg D., Helmchen F. Imaging input and output of neocortical networks in vivo // Proceedings of the National Academy of Science USA. 2005. № 102. С. 14063–14068.

143

[4] Harvey C. D., Coen P. Tank D. W. Choice-specific sequences in parietal cortex during a virtual-navigation decision task // Nature. 2012. № 484. С. 62–68.

144

[5] Peron S. P., Freeman J., Iyer V. и др. A cellular resolution map of barrel cortex activity during tactile behavior // Neuron. 2015. № 86. С. 783–799.

145

[6] Hromádka T., DeWeese M. R., Zador A. M. Sparse representation of sounds in the unanesthetized auditory cortex // PLoS Biology/ 2008. № 6. e16.

146

[7] O’Connor D. H., Peron S. P., Huber D. и др. Neural activity in barrel